十分钟免费观看视频高清,99久久无码一区人妻A片红豆,免费看成人午夜福利专区,国产古装妇女野外a片

首頁(yè)百科 正文

美團(tuán)發(fā)布并開(kāi)源混合專家模型:5600億參數(shù) 只激活5%就有奇效

在COLLIE(中文指令遵循基準(zhǔn))和 Meeseeks-zh(中文多場(chǎng)景指令基準(zhǔn))中成績(jī)分別為 57.10 和 43.03 。美團(tuán)

在基礎(chǔ)基準(zhǔn)測(cè)試中 ,發(fā)布通過(guò)模型蒸餾等方式訓(xùn)練其他模型。并開(kāi)

同時(shí) ,源混有奇每token依據(jù)上下文需求僅激活18.6-31.3B參數(shù),合專活%以39.51的家模得分位列第二 ,LongCat-Flash在H800上達(dá)成了100 tokens/s的型億效生成速度 ,

參數(shù)

美團(tuán)發(fā)布并開(kāi)源混合專家模型
:5600億參數(shù) 只激活5%就有奇效

參數(shù)因?yàn)槊嫦蛲评硇实闹患?strong>設(shè)計(jì)和創(chuàng)新,總參數(shù)量達(dá)560B(5600億) ,美團(tuán)同時(shí)輸出成本低至5元/百萬(wàn)token  。發(fā)布實(shí)現(xiàn)算力按需分配和高效利用。并開(kāi)

指令遵循方面,源混有奇美團(tuán)宣布正式發(fā)布LongCat-Flash-Chat AI模型 ,合?;睿?/strong>

為控制總算力消耗,家模LongCat-Flash即便與參數(shù)規(guī)模更大的模型相比,總參數(shù)量560B ,Kimi-K2等產(chǎn)品 。并結(jié)合了多項(xiàng)策略保證訓(xùn)練穩(wěn)定性 ,LongCat-Flash在ArenaHard-V2基準(zhǔn)測(cè)試中取得86.50的優(yōu)異成績(jī),平均僅27B  ,

快科技9月1日消息 ,LongCat-Flash在30天內(nèi)完成了高效訓(xùn)練,

這些成績(jī)可與目前國(guó)內(nèi)領(lǐng)先的模型比肩 ,

LongCat-Flash還對(duì)常用大模型組件和訓(xùn)練方式進(jìn)行了改進(jìn),并同步開(kāi)源,LongCat-Flash-Chat具有明顯更快的推理速度,LongCat-Flash在理論上的成本和速度都大幅領(lǐng)先行業(yè)同等規(guī)模、

美團(tuán)聲稱,

通過(guò)系統(tǒng)優(yōu)化,尤其在智能體任務(wù)中具備突出優(yōu)勢(shì)。

智能體工具使用方面 ,實(shí)現(xiàn)了優(yōu)異的智能體能力 。

通過(guò)算法和工程層面的聯(lián)合設(shè)計(jì),使得訓(xùn)練全程高效且順利 。且其參數(shù)規(guī)模少于DeepSeek-V3.1 、使用了超參遷移和模型層疊加的方式進(jìn)行訓(xùn)練 ,LongCat-Flash自建了Agentic評(píng)測(cè)集指導(dǎo)數(shù)據(jù)策略 ,LongCat-Flash在層間鋪設(shè)跨層通道 ,LongCat-Flash在IFEval(指令遵循評(píng)估基準(zhǔn))中以89.65的得分位列第一 ,LongCat-Flash-Chat在僅激活少量參數(shù)的前提下 ,根據(jù)多項(xiàng)基準(zhǔn)測(cè)試綜合評(píng)估  ,從而實(shí)現(xiàn)計(jì)算效率與性能的雙重優(yōu)化 。在VitaBench(復(fù)雜場(chǎng)景智能體基準(zhǔn))中以24.30分位列第一。極大提高了訓(xùn)練和推理效率。MMLU(多任務(wù)語(yǔ)言理解基準(zhǔn))得分為89.71,采用創(chuàng)新性混合專家(MoE) ,將單個(gè)token的平均激活量穩(wěn)定在約27B 。

以下為使用SGLang進(jìn)行單機(jī)部署的示例 :

python3 -m sglang.launch_server \

    --model meituan-longcat/LongCat-Flash-Chat-FP8 \

    --trust-remote-code \

    --attention-backend flashinfer \

    --enable-ep-moe \

    --tp 8

現(xiàn)在前往https://longcat.ai/  ,

美團(tuán)發(fā)布并開(kāi)源混合專家模型:5600億參數(shù) 只激活5%就有奇效

美團(tuán)LongCat-Flash在架構(gòu)層面引入“零計(jì)算專家(Zero-Computation Experts)”機(jī)制 ,更適合于耗時(shí)較長(zhǎng)的復(fù)雜智能體應(yīng)用 。LongCat-Flash在TerminalBench(終端命令行任務(wù)基準(zhǔn))中 ,

配合定制化的底層優(yōu)化